应用流开发

LangStudio为应用流开发提供了直观且高效的集成开发环境,您可以构建、调试和优化由大语言模型、Python节点以及其他工具组成的应用流。

前提条件

已创建所需的连接。具体操作,请参见连接管理

创建应用流

进入LangStudio,选择工作空间后,在应用流页签下单击新建应用流,进入应用流创建页面。

从模板新建

  • RAG:创建一个检索增强生成(Retrieval-Augmented Generation)应用,需要使用到向量数据库和LLM连接。

  • function-calling:创建一个支持工具使用的LLM应用,需要使用LLM连接和SerpAPI连接。

  • nl2sql:创建一个基于自然语言生成并执行SQLLLM应用,需要使用LLM连接和RDS MySQL连接。

按类型新建

  • 标准型:适用于通用应用程序开发。利用大语言模型的强大功能、定制的Python代码等来打造您的定制化应用流。

  • 对话型:适用于对话型应用程序开发。在标准型的基础上,对话型提供对话历史、输入、输出的管理,以及对话框形式的测试界面。

开发应用流

应用流开发界面分为以下区域:

image

区域

区域说明

备注

应用流概览区域

应用流的DAG图,可直观地查看数据在整个应用流中的传递。

文件列表区域

应用流项目中的文件,您可以点击这些文件进行查看和编辑。

应用流配置区域

编辑和配置应用流中的各个节点。

纯代码模式开关

应用流配置页(即区域②中的flow.dag.yaml文件)支持切换到纯代码模式。如果您更习惯于直接编写代码而不是使用可视化界面,可以启用此模式。

应用流配置工具栏

包含配置应用流时常用的功能,如保存、添加Python节点、添加LLM节点和更多工具。

应用流运行工具栏

包含一些常用的操作按钮,如启动/查看/删除运行时、调试/运行应用流、查看应用流运行历史以及应用流部署

重要
  • 在启动运行时需确保选择的VPC和应用流所用的连接(如LLM服务连接、数据库服务连接等)所在的VPC一致或两者网络已连通。

  • 运行时一旦启动即会产生费用,因此如果您暂不需要运行业务流,建议删除运行时,避免持续计费。

基础开发流程如下:

  1. 添加LLM/Python节点:鼠标悬停在两节点间空隙或单击应用流配置工具栏。

    image

  2. 启动运行时:单击右上角启动运行时并进行配置。在进行Python节点解析或查看更多工具时,需要保证运行时已启动。

    image

    关键参数说明:

    专有网络配置:请确保选择的VPC和应用流所用的连接(如LLM服务连接、数据库服务连接等)所在的VPC一致或两者网络已连通。

  3. 配置节点参数。

    支持添加Python、LLM和工具节点。当添加Python节点时,关键说明:

    • 函数需要被@tool装饰,才可以被加载为一个节点。

    • 修改完代码后,单击解析,函数的入参会被动态解析,成为节点的输入;函数的输出会被放到output字典中,可以被其他节点引用。

      image

      注:图中Python节点的入参input1chat节点的输出,同时Python节点的输出作为应用流最终的输出字段answer的值。

    • 函数支持的输入/输出类型:int、float、bool、str、dict、TypedDict、dataclass(只支持输出)、list。

  4. 调试/运行:单击右上角对话/运行, 开始执行应用流。

    image

  5. 查看链路/错误日志:单击生成答案下的查看链路查看日志,查看链路(Trace详情、拓扑视图)或运行日志。

    image

  6. 删除运行时。如果您暂不需要运行业务流,建议删除运行时,避免持续计费。

    image

后续操作

应用流开发、调试完成后,您可以将应用流部署至模型在线服务PAI-EAS中供生产使用。